近日，2025年國家網(wǎng)絡安全宣傳周在昆明開幕，多位網(wǎng)絡安全專家在接受中新網(wǎng)采訪時，談及AI給網(wǎng)絡安全帶來的新風險和新機遇。
360數(shù)字安全集團總裁胡振泉認為，AI的安全問題無比復雜，和傳統(tǒng)的網(wǎng)絡安全問題有著非常大的不同，其中包括：AI生成內(nèi)容本身的安全性、AI幻覺、提示詞注入攻擊等問題。
胡振泉進一步表示，當AI變成智能體后，會負責規(guī)劃很多任務，而如果AI智能體規(guī)劃的任務執(zhí)行到很多步后，再發(fā)生錯亂、隨意調(diào)度的問題，情況將更加復雜，這是傳統(tǒng)網(wǎng)絡安全手段無法解決的問題。
天融信科技集團助理總裁張博表示，如今一些大模型被攻擊，大模型算法或數(shù)據(jù)發(fā)生泄露，都暴露了大模型在訓練、部署、使用等階段，存在著一定的安全風險。同時，AI降低了網(wǎng)絡攻擊的門檻，很多攻擊者會使用AI，來提升攻擊的頻度、強度、效率。
奇安信集團副總裁李虎也表示，目前已出現(xiàn)許多用于攻擊的AI智能體，甚至已經(jīng)開始對外提供服務。如果黑客組織使用AI發(fā)起攻擊，成本會更低，而且更具不可控性。現(xiàn)在大模型的應用越來越廣泛，涉及社會生活的方方面面，如果AI的安全性出現(xiàn)問題，將產(chǎn)生非常大的危害。
在南方電網(wǎng)公司數(shù)字化部副總經(jīng)理禤亮看來，AI需要慢慢培育。在培育的過程中，如果數(shù)據(jù)出現(xiàn)問題，一方面可能導致AI智能體的反應速度下降，另一方面，可能導致AI作出的判斷存在誤差，這對電網(wǎng)企業(yè)和新型電力系統(tǒng)來說是致命的。
AI時代，如何應對網(wǎng)絡安全挑戰(zhàn)？
張博表示，目前AI賦能網(wǎng)絡安全，是行業(yè)中非常重要的一個研究方向，國內(nèi)外不少安全公司都在探索AI與安全技術的結合。例如，把大模型融入到安全設備中，與安全平臺和云端安全服務進行聯(lián)動，形成端側(cè)云端協(xié)同的基于大模型的智能化運營體系。
“傳統(tǒng)的網(wǎng)絡安全軟件由人編寫，而大模型的智力超過人類，因此應該‘以模制模’，即用大模型來解決大模型的安全問題。”胡振泉認為，應該有專門負責安全的大模型，來監(jiān)督做業(yè)務的大模型，并處理其在做業(yè)務過程面臨的一系列安全問題，大模型的發(fā)展應遵循“安全、向善、可信、可控”的原則。
在李虎看來，我們可以構建大模型的安全“紅域”，把大模型訓練、微調(diào)、應用等各個環(huán)節(jié)，都納入到紅域中心統(tǒng)一管控，然后再進行區(qū)隔化管理，把每個區(qū)域分而治之，收縮風險邊界。同時，我們需要對大模型的提示詞、標注數(shù)據(jù)、知識庫數(shù)據(jù)等，進行監(jiān)測和審計。
禤亮表示，為防止AI在應用層面出現(xiàn)偏差，需要有良好的數(shù)據(jù)治理基礎，形成高質(zhì)量的數(shù)據(jù)集。同時，需要有專門的團隊負責監(jiān)測AI，并構建監(jiān)測機制，來使AI朝著我們希望的方向發(fā)展。（記者 吳家駒）
寧公網(wǎng)安備 64010402000050號
